Deep learning classifiers provide the most accurate means of automatically diagnosing diabetic retinopathy (DR) based on optical coherence tomography (OCT) and its angiography (OCTA). The power of these models is attributable in part to the inclusion of hidden layers that provide the complexity required to achieve a desired task. However, hidden layers also render algorithm outputs difficult to interpret. Here we introduce a novel biomarker activation map (BAM) framework based on generative adversarial learning that allows clinicians to verify and understand classifiers decision-making. A data set including 456 macular scans were graded as non-referable or referable DR based on current clinical standards. A DR classifier that was used to evaluate our BAM was first trained based on this data set. The BAM generation framework was designed by combing two U-shaped generators to provide meaningful interpretability to this classifier. The main generator was trained to take referable scans as input and produce an output that would be classified by the classifier as non-referable. The BAM is then constructed as the difference image between the output and input of the main generator. To ensure that the BAM only highlights classifier-utilized biomarkers an assistant generator was trained to do the opposite, producing scans that would be classified as referable by the classifier from non-referable scans. The generated BAMs highlighted known pathologic features including nonperfusion area and retinal fluid. A fully interpretable classifier based on these highlights could help clinicians better utilize and verify automated DR diagnosis.
translated by 谷歌翻译
相干显微镜技术提供了跨科学和技术领域的材料的无与伦比的多尺度视图,从结构材料到量子设备,从综合电路到生物细胞。在构造更明亮的来源和高速探测器的驱动下,连贯的X射线显微镜方法(如Ptychography)有望彻底改变纳米级材料的特征。但是,相关的数据和计算需求显着增加意味着,常规方法不再足以从高速相干成像实验实时恢复样品图像。在这里,我们演示了一个工作流程,该工作流利用边缘的人工智能和高性能计算,以实现直接从检测器直接从检测器流出的X射线ptychography数据实时反演。拟议的AI支持的工作流程消除了传统的Ptychography施加的采样约束,从而使用比传统方法所需的数据较少的数据级允许低剂量成像。
translated by 谷歌翻译
符号检测是现代通信系统中的一个基本且具有挑战性的问题,例如多源多输入多输出(MIMO)设置。迭代软干扰取消(SIC)是该任务的最新方法,最近动机的数据驱动的神经网络模型,例如深度,可以处理未知的非线性通道。但是,这些神经网络模型需要在应用之前对网络进行全面的时间量培训,因此在实践中不容易适合高度动态的渠道。我们介绍了一个在线培训框架,该框架可以迅速适应频道中的任何更改。我们提出的框架将最近的深层发展方法与新兴的生成对抗网络(GAN)统一,以捕获频道中的任何变化,并快速调整网络以维持模型的最佳性能。我们证明,我们的框架在高度动态的通道上显着优于最近的神经网络模型,甚至超过了我们实验中静态通道上的神经网络模型。
translated by 谷歌翻译
大语言模型(LLM)的广泛成功已受到怀疑,即他们拥有人类概念或含义之类的东西。与声称LLM没有任何意义的声称相反,我们认为它们可能会捕捉意义的重要方面,此外,工作的工作方式近似于对人类认知的令人信服的说法,在这种认知中,概念作用引起了意义。由于概念角色是由内部代表性之间的关系定义的,因此含义不能从模型的架构,培训数据或目标功能中确定,而只能通过检查其内部状态之间的相互关系。这种方法可以阐明为什么LLM如此成功,并暗示如何使它们变得更像人性化。
translated by 谷歌翻译
自然图像和医学图像之间的根本差异最近有利于对医学图像应用中的Imagenet转移学习使用自我监督学习(SSL)。图像类型之间的差异主要是由于成像方式和医学图像利用了广泛的基于物理的技术,而自然图像仅使用可见光捕获。尽管许多人证明了医学图像上的SSL导致了更好的下游任务绩效,但我们的工作表明可以获得更多的性能。在构建学习问题时,经常不考虑用于获取医学图像的科学原理。因此,我们建议在生成SSL期间合并定量成像原理,以提高图像质量和定量生物学准确性。我们表明,这种培训模式可为有限数据的下游监督培训提供更好的起始状态。我们的模型还生成了验证临床定量分析软件的图像。
translated by 谷歌翻译
尽管电子健康记录是生物医学研究的丰富数据来源,但这些系统并未在医疗环境中统一地实施,并且由于医疗保健碎片化和孤立的电子健康记录之间缺乏互操作性,可能缺少大量数据。考虑到缺少数据的案例的删除可能会在随后的分析中引起严重的偏见,因此,一些作者更喜欢采用多重插补策略来恢复缺失的信息。不幸的是,尽管几项文献作品已经通过使用现在可以自由研究的任何不同的多个归档算法记录了有希望的结果,但尚无共识,MI算法效果最好。除了选择MI策略之外,归纳算法及其应用程序设置的选择也至关重要且具有挑战性。在本文中,受鲁宾和范布伦的开创性作品的启发,我们提出了一个方法学框架,可以应用于评估和比较多种多个插补技术,旨在选择用于计算临床研究工作中最有效的推断。我们的框架已被应用于验证和扩展较大的队列,这是我们在先前的文献研究中提出的结果,我们在其中评估了关键患者的描述符和Covid-19的影响在2型糖尿病患者中的影响,其数据为2型糖尿病,其数据为2型糖尿病由国家共同队列合作飞地提供。
translated by 谷歌翻译
语言模型既展示了定量的改进,又展示了新的定性功能,随着规模的增加。尽管它们具有潜在的变革性影响,但这些新能力的特征却很差。为了为未来的研究提供信息,为破坏性的新模型能力做准备,并改善社会有害的效果,至关重要的是,我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战,我们介绍了超越模仿游戏基准(Big Bench)。 Big Bench目前由204个任务组成,由132家机构的442位作者贡献。任务主题是多样的,从语言学,儿童发展,数学,常识性推理,生物学,物理学,社会偏见,软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号,Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为,跨越了数百万到数十亿个参数。此外,一个人类专家评估者团队执行了所有任务,以提供强大的基准。研究结果包括:模型性能和校准都随规模改善,但绝对的术语(以及与评估者的性能相比);在模型类中的性能非常相似,尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分,而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标;社交偏见通常会随着含糊不清的环境而随着规模而增加,但这可以通过提示来改善。
translated by 谷歌翻译
纠错码是现代通信系统中的基本组件,要求极高的吞吐量,超可靠性和低延迟。随着解码器的近期使用机器学习(ML)模型的方法提供了改进的性能和对未知环境的巨大适应性,传统的解码器斗争。我们介绍了一般框架,以进一步提高ML模型的性能和适用性。我们建议将ML解码器与竞争鉴别器网络组合,该网络试图区分码字和嘈杂的单词,因此,指导解码模型以恢复传输的码字。我们的框架是游戏理论,由生成的对抗网络(GANS)有动力,解码器和鉴别者在零和游戏中竞争。解码器学习同时解码和生成码字,而鉴别器学会讲述解码输出和码字之间的差异。因此,解码器能够将嘈杂的接收信号解码为码字,增加成功解码的概率。我们通过证明这解码器定义了我们游戏的NASH均衡点,我们与最佳最大可能性解码器展示了我们的框架的强烈连接。因此,培训均衡具有实现最佳最大可能性性能的良好可能性。此外,我们的框架不需要培训标签,这些标签通常在通信期间通常不可用,因此似乎可以在线培训并适应频道动态。为了展示我们框架的表现,我们将其与最近的神经解码器相结合,并与各种代码上的原始模型和传统解码算法相比,表现出改进的性能。
translated by 谷歌翻译
Reading comprehension of legal text can be a particularly challenging task due to the length and complexity of legal clauses and a shortage of expert-annotated datasets. To address this challenge, we introduce the Merger Agreement Understanding Dataset (MAUD), an expert-annotated reading comprehension dataset based on the American Bar Association's 2021 Public Target Deal Points Study, with over 39,000 examples and over 47,000 total annotations. Our fine-tuned Transformer baselines show promising results, with models performing well above random on most questions. However, on a large subset of questions, there is still room for significant improvement. As the only expert-annotated merger agreement dataset, MAUD is valuable as a benchmark for both the legal profession and the NLP community.
translated by 谷歌翻译
While the capabilities of autonomous systems have been steadily improving in recent years, these systems still struggle to rapidly explore previously unknown environments without the aid of GPS-assisted navigation. The DARPA Subterranean (SubT) Challenge aimed to fast track the development of autonomous exploration systems by evaluating their performance in real-world underground search-and-rescue scenarios. Subterranean environments present a plethora of challenges for robotic systems, such as limited communications, complex topology, visually-degraded sensing, and harsh terrain. The presented solution enables long-term autonomy with minimal human supervision by combining a powerful and independent single-agent autonomy stack, with higher level mission management operating over a flexible mesh network. The autonomy suite deployed on quadruped and wheeled robots was fully independent, freeing the human supervision to loosely supervise the mission and make high-impact strategic decisions. We also discuss lessons learned from fielding our system at the SubT Final Event, relating to vehicle versatility, system adaptability, and re-configurable communications.
translated by 谷歌翻译